A Mudança de Paradigma: De Modelos Específicos por Tarefa aos LLMs

Evolução do PLN: Da IA Fragmentada aos Modelos de Fundação

Definições

• IA Fragmentada: Uma era definida por arquiteturas neurais distintas e especializadas, concebidas para tarefas individuais como etiquetagem de sequências ou classificação.
• Modelo de Fundação: Uma arquitetura transformer monolítica e unificada que trata todos os problemas linguísticos como uma sequência generativa de texto para texto $x \rightarrow y$.

Conceitos Essenciais

• Consolidação Arquitetural: Historicamente, o PLN exigia pipelines à medida (Bi-LSTMs para NER, CNNs para análise de sentimento). Os LLMs colapsam esses silos numa única estrutura central onde os mesmos pesos são utilizados para todas as tarefas.
• A Interface Unificada: Os LLMs substituem as "cabeças de saída" especializadas (por exemplo, Softmax de 3 classes) por uma interface em linguagem natural. As entradas e saídas são sempre strings, permitindo ao modelo interpretar intenção em vez do formato.
• Transferência de Conhecimento: Os modelos tradicionais eram "tabula rasa" para cada tarefa. Os LLMs priorizam a Generalização em Primeiro Lugar, onde as tarefas específicas são meras aplicações de uma representação interna da linguagem robusta e preexistente.

Contexto Histórico

• Pré-2018: O isolamento de tarefas exigia o treino de modelos distintos com diferentes funções de perda $\mathcal{L}_{task}$.
• Era Moderna: O paradigma "Texto para Texto" permite que um único modelo (por exemplo, Llama-3) mude de tarefa através de prompting zero-shot ou few-shot.